这项工作通过考虑具有随机局部获奖者(LWTA)激活的深层网络来解决元学习(ML)。这种类型的网络单元导致每个模型层的稀疏表示形式,因为单元被组织成仅一个单元生成非零输出的块。引入单元的主要操作原理依赖于随机原理,因为网络对竞争单位进行后验采样以选择获胜者。因此,与当前标准的确定性表示范式相反,提出的网络是明确设计的,以提取稀疏随机性的输入数据表示。我们的方法在几乎没有图像分类和回归实验上产生了最新的预测精度,并在主动学习设置上降低了预测误差;这些改进的计算成本大大降低。
translated by 谷歌翻译
这项工作旨在解决学习多元化陈述的长期问题。为此,我们将信息理论论点与随机竞争的激活,即随机本地获奖者 - 所有(LWTA)单位结合起来。在这种情况下,我们致力于表示学习的传统深层架构,依赖于非线性激活;相反,我们用本地和随机竞争的线性单位组替换它们。在此设置中,每个网络层产生稀疏输出,由组织成竞争对手块之间的竞争的结果确定。我们采用竞争机制的随机论据,执行后部采样以确定每个块的获胜者。我们进一步赋予考虑的网络能够推断网络的子部分,这对于在手头上建模数据至关重要;我们将适当的粘性前锋施加到此目的。为了进一步丰富新兴陈述的信息,我们求助于信息 - 理论原则,即信息竞争过程(ICP)。然后,所有组件在随机变分贝叶斯框架下捆绑在一起进行推理。我们对我们的方法进行了彻底的实验研究,使用基准数据集进行了图像分类。正如我们在实验表明的那样,所产生的网络产生了显着的歧视性学习能力。此外,介绍的范例允许新出现的中间网络表示的原则调查机制。
translated by 谷歌翻译
这项工作探讨了随机竞争的激活效力,即随机本地获奖者 - 所有(LWTA),反对强大的(梯度)的白盒和黑匣子对抗攻击;我们特别关注对抗性训练环境。在我们的工作中,我们用包括当地和随机竞争的线性单元的块替换基于常规的基于Relu的非线性。每个网络层的输出现在产生稀疏输出,具体取决于每个块中的获胜者采样的结果。我们依靠变分的贝叶斯框架进行培训和推理;我们纳入了常规的基于PGD的对抗的对抗性培训论证,以增加整体对抗性鲁棒性。正如我们在实验表明,所产生的网络产生最先进的稳健性,这对于强大的对抗性攻击,同时保留了良性案例中的非常高的分类率。
translated by 谷歌翻译
Generalization is an important attribute of machine learning models, particularly for those that are to be deployed in a medical context, where unreliable predictions can have real world consequences. While the failure of models to generalize across datasets is typically attributed to a mismatch in the data distributions, performance gaps are often a consequence of biases in the 'ground-truth' label annotations. This is particularly important in the context of medical image segmentation of pathological structures (e.g. lesions), where the annotation process is much more subjective, and affected by a number underlying factors, including the annotation protocol, rater education/experience, and clinical aims, among others. In this paper, we show that modeling annotation biases, rather than ignoring them, poses a promising way of accounting for differences in annotation style across datasets. To this end, we propose a generalized conditioning framework to (1) learn and account for different annotation styles across multiple datasets using a single model, (2) identify similar annotation styles across different datasets in order to permit their effective aggregation, and (3) fine-tune a fully trained model to a new annotation style with just a few samples. Next, we present an image-conditioning approach to model annotation styles that correlate with specific image features, potentially enabling detection biases to be more easily identified.
translated by 谷歌翻译
受动物界(尤其是蚂蚁的导航行为)观察到的导航行为的启发,我们试图通过实施各种仿生算法来在人工环境中模拟它。
translated by 谷歌翻译
学习分解的表示形式需要监督或引入特定模型设计和学习限制作为偏见。Infogan是一个流行的分离框架,通过最大化潜在表示及其相应生成的图像之间的相互信息来学习无监督的分解表示形式。通过引入辅助网络和潜在回归损失的培训来实现共同信息的最大化。在这篇简短的探索性论文中,我们研究了希尔伯特 - 史密特独立标准(HSIC)的使用,以近似潜在表示和图像之间的相互信息,称为HSIC-INFOGAN。直接优化HSIC损失可以避免需要额外的辅助网络。我们定性地比较了每个模型中的分离水平,提出了一种调整HSIC-INFOGAN超参数的策略,并讨论了HSIC-INFOGAN在医疗应用中的潜力。
translated by 谷歌翻译
发现预测未来疾病结果的患者特定成像标记可以帮助我们更好地了解疾病进化的个体水平异质性。实际上,可以在医学实践中采用的可以提供数据驱动的个性化标记的深度学习模型。在这项工作中,我们证明了数据驱动的生物标志物发现可以通过反事实综合过程来实现。我们展示了如何使用深层的条件生成模型来扰动基线图像中的局部成像特征,这些图像与特定于受试者的未来疾病进化有关,并导致反事实图像有望具有不同的未来结果。因此,候选生物标志物是由于检查了此过程中受到干扰的一组功能而产生的。通过对大型多扫描仪多中心多发性硬化症(MS)临床试验磁共振成像(MRI)数据集(RRMS)患者数据集(RRMS)患者数据集进行的几项实验,我们证明我们的模型会产生反面的反面事件,并具有成像变化反映了建立的临床标记的特征,可预测人群水平的未来MRI病变活性。其他定性结果表明,我们的模型有可能发现未来活动的新颖和主题的预测标记。
translated by 谷歌翻译
由于成本限制,减少医学图像分割中密集注释的面具的需求很重要。在本文中,我们考虑仅通过使用图像级标签进行训练来推断脑病变的像素级预测的问题。通过利用生成扩散概率模型(DPM)的最新进展,我们综合了“如果不存在X病理学,患者将如何出现?”。观察到的患者状态与健康反事实之间的差异图像可用于推断病理位置。我们产生的反事实是对应于输入的最小变化,以使其转化为健康域。这需要在DPM中使用健康和不健康的数据进行培训。我们通过通过隐式指导以及注意力条件而不是使用分类器来操纵生成过程来改善以前的反事实DPM。代码可在https://github.com/vios-s/diff-scm上找到。
translated by 谷歌翻译
数据保护法规中规定的权利允许患者要求数据持有人消除有关其信息的知识。随着AI在数据上学习的出现,人们可以想象,这种权利可以要求忘记AI模型中患者数据知识的要求。但是,忘记了来自AI模型的患者的成像数据仍然是一个爆炸案。在本文中,我们研究了患者数据对模型性能的影响,并为患者的数据提出了两个假设:他们是常见的,并且与其他患者相似,或者形成边缘病例,即独特的和罕见的病例。我们表明,不可能轻松地忘记患者数据。我们提出了一种有针对性的遗忘方法,以执行患者遗忘。基准自动化心脏诊断挑战数据集的广泛实验展示了所提出的目标遗忘方法的性能,而不是最先进的方法。
translated by 谷歌翻译
培训医学图像分割模型通常需要大量标记的数据。相比之下,人类可以迅速学会从医学(例如MRI和CT)图像中准确地识别出有限的指导性解剖学。这种识别能力可以很容易地推广到来自不同临床中心的新图像。这种快速且可普遍的学习能力主要是由于人脑中图像模式的组成结构所致,该图像模式在医学图像分割中较少纳入。在本文中,我们将人类解剖结构的组成成分(即模式)建模为可学习的von-mises-fisher(VMF)内核,它们对从不同领域(例如临床中心)收集的图像具有鲁棒性。图像特征可以分解为具有组成操作的组件(或由)组成的组件,即VMF可能性。 VMF的可能性证明了每个解剖部分在图像的每个位置的可能性。因此,可以根据VMF的可能性预测分割掩模。此外,使用重建模块,未标记的数据也可以通过重新组合重建输入图像来学习VMF内核和可能性。广泛的实验表明,所提出的VMFNET在两个基准上实现了改善的概括性能,尤其是在注释有限的情况下。代码可在以下网址公开获取:https://github.com/vios-s/vmfnet。
translated by 谷歌翻译